Three-Dimensional Visualization of Movement Qualities in Contemporary Dance
オプティカルフローとポイントクラウドの組み合わせ
https://vimeo.com/320826894
Analyzing and documenting contemporary dance movement data has proven to be a very difficult task due to the vast existence of styles and aesthetics which are characteristic of each individual choreographer. Indeed, identifying movement qualities with the intention of co-relating them to specific meanings and choreographic intentions is practically impossible without taking an artist-driven approach. Moreover, equipping dancers with wearable technology in order to accurately track each of their movements is only applicable in controlled laboratory scenarios, therefore not being a viable approach to analyze large scale real-world rehearsals or performances. This paper describes a visualization system that exposes movement qualities for dance through rendering effects. Combining optical flow analysis with depth video information, we were able to estimate the three-dimensional flow for each point in the cloud. This information was used to color point cloud videos with this information, showing potential to be used for the creation of different rendering effects, which are also discussed in this paper. The data used was captured in a non-intrusive manner during the creation process of a dance piece by Portuguese choreographer Rui Lopes Graça, enabling us to examine nuances and details of the rehearsals' process, which would not be replicable in a laboratory environment.
現代のダンスの動きのデータを分析し文書化することは、個々の振付家の特徴であるスタイルと美学の広大な存在のために非常に難しい仕事であることが証明されています。確かに、アーティスト主導のアプローチをとらない限り、それらを特定の意味や振り付けの意図と相互に関連付けるという意図で動きの質を識別することは事実上不可能です。さらに、それぞれの動きを正確に追跡するためにダンサーにウェアラブル技術を装備させることは、実験室の制御されたシナリオにしか適用できないため、大規模な実世界のリハーサルやパフォーマンスを分析するための実行可能なアプローチではありません。本稿では、演出効果を通じてダンスの動きの質を表現する視覚化システムについて述べる。オプティカルフロー解析と深度ビデオ情報を組み合わせることで、クラウド内の各点の3次元フローを推定することができました。この情報は、クラウドビデオをこの情報で色付けするために使用され、さまざまなレンダリング効果の作成に使用される可能性を示しています。これについても、このホワイトペーパーで説明します。使用されたデータは、ポルトガルの振付師Rui LopesGraçaによるダンス作品の制作過程で邪魔にならない方法で取得され、実験室環境では再現できないようなニュアンスとリハーサル過程の詳細を調べることができました。
@inproceedings{Anjos:2018:TVM:3212721.3212812,
author = {Anjos, Rafael Kuffner dos and Ribeiro, Claudia and Fernandes, Carla},
title = {Three-Dimensional Visualization of Movement Qualities in Contemporary Dance},
booktitle = {Proceedings of the 5th International Conference on Movement and Computing},
series = {MOCO '18},
year = {2018},
isbn = {978-1-4503-6504-8},
location = {Genoa, Italy},
pages = {10:1--10:7},
articleno = {10},
numpages = {7},
doi = {10.1145/3212721.3212812},
acmid = {3212812},
publisher = {ACM},
address = {New York, NY, USA},
keywords = {3D Visualization, Contemporary Dance, Motion Capture, Optical Flow, Point Clouds},
}